被写体ロックオン with Florence-2 and SAM2
https://gyazo.com/15e7c4250d154e8e88e09fa0f8313172
ComfyUI_workflow
https://gyazo.com/26a74dbbc23483d4da4768b6f0657262
https://openart.ai/workflows/t8ZuvAQxR62rFxTyFYptLock-On Stabilization using Florence2 and SAM2.json
動画から最初の1フレームを取得
🟪Florence-2でボールを物体検出
🟫ボールだけの位置情報だと腕までセグメンテーションされてしまったので、Florence-2で腕の位置を取得しnegativeとしてSAM2に入力
🟩Florence-2で取得した位置情報を使ってSAM2でセグメンテーション
🟨ComfyUI-Inpaint-CropAndStitchで、マスク部分にpaddingを追加したクロップ領域を作り、これを動画にする
context_from_mask_extend_factorを値を大きくするとpaddingが増える
SEGSでやりたかったけど、うまくいかなかったnomadoor.icon